QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV Caching
QuantMLA：面向 MLA 低比特 KV 缓存的功能对齐双路量化
🧭 MLA KV 缓存低比特量化与推理加速 ★ 深度解读
The University of Hong Kong · Meituan LongCat Team · South China University of Technology · Harbin Institute of Technology
针对 MLA 的 content 与 RoPE 双缓存，提出路径专属可离线融合变换与功能对齐目标，实现首个联合 INT4 缓存且精度损失极小
📌 工作参考价值（4 点）
- 部署 DeepSeek-V2/V3、Kimi、LongCat、GLM 等 MLA 架构模型做长上下文 RAG、Agent 记忆或搜索摘要时，可直接采用 content INT4 / RoPE INT4，甚至 content INT2 / RoPE INT4，并配合首 4 个 sink token 和最近 128 token 的 BF16 保护，获得 3.59× KV cache 压缩和 5.168× 吞吐提升，显著降低在线 serving 成本。
- 不要把 MLA 不同缓存一视同仁：同一 cache NMSE 下，RoPE 路径造成的注意力输出失真比 content 路径高 1.94–6.86 倍。如果预算有限或需要先做部分量化，应优先保留 RoPE key cache 更高精度，content cache 可以更激进压缩。
- 量化训练时不要只用 cache reconstruction MSE：可借鉴其功能对齐思路——content 路径用 attention-output reconstruction，RoPE 路径用 positional QK reconstruction；学到的 rotation/scale 可以完全融合进权重，online 无额外变换开销。
- Sink/recent BF16 保护是低成本 trick：在统一 softmax 下按 token 选择 BF16 或 INT4，能有效保持长上下文检索和推理能力，同时减少 preemption，适合直接复用到生产 serving 策略。